Vườn quốc gia này có thời gian từ thế kỷ 4 trước Công Nguyên. Sopara và Kalyan là hai cảng ở khu vực gần đó đã buôn bán với các vùng đất cổ như Hy Lạp và Mesopotamia. Những tuyến đường giữa hai cảng này đã chạy xuyên qua khu rừng này. Khu công viên này đã được đặt tên là Vườn quốc gia Krishnagiri trước thời kỳ Ấn Độ giành được độc lập từ Anh. Năm 1969, Vườn quốc gia này có diện tích 20.26 km². Sau nhiều đợt điều chỉnh, vườn này đã được mở rộng và có diện tích như hiện nay. Một đơn vị bảo vệ rừng đã được thành lập trực thuộc Cục Lâm vụ Ấn Độ, và đã được đặt tên thánh là Vườn quốc gia Borivli theo vùng Borivali gần đấy. Năm 1981, tên gọi đã được đổi thành Vườn quốc gia Sanjay Gandhi theo tên của Sanjay Gandhi, con trai của Indira Gandhi, người đã bị ám sát.